想像一個物理系統，例如懸掛的鏈條，尋求其最低能量狀態。若兩端點被固定，系統無法自由移動。當內部作用力（位能梯度）與約束所產生的張力完全平衡時，即達成最優狀態。在凸優化中，這種平衡由 KKT 條件 等式約束的條件所捕捉。
可行性的幾何結構
對於具有等式約束 $Ax=b$ 的凸問題，向量 $v \in \mathbf{R}^n$ 為 可行方向 若 $Av = 0$。這表示沿方向 $v$ 移動仍能維持約束：若 $Ax=b$，則 $A(x+v) = b$。
若 $x^*$ 為最優解，則對所有屬於零空間 $\mathcal{N}(A)$ 的可行方向 $v$，方向導數 $\nabla f(x^*)^T v$ 必須為零。這意味著梯度 $\nabla f(x^*)$ 必須與 $\mathcal{N}(A)$ 正交，進而導出 拉格朗日乘子的存在。
最優性條件
一點 $x^*$ 為最優解，當且僅當存在向量 $\nu^* \in \mathbb{R}^p$，使得：
$\nabla f(x^*) + A^T \nu^* = 0$
此方程組描繪了目標函數下降與約束流形之間的平衡狀態。
投影梯度
將負梯度 $-\nabla f(x)$ 歐幾里得投影 投影至零空間 $\mathcal{N}(A)$ 的公式如下：
$\Delta x_{\text{pg}} = \text{argmin}_{Au=0} \| -\nabla f(x) - u \|_2$
此向量代表「最佳」的可行下降方向。關鍵在於，$x$ 為最優解，當且僅當 $\Delta x_{\text{pg}} = 0$。
KKT 系統與矩陣性質
我們可透過分塊系統同時求解牛頓步長與對偶變數：
$$\begin{bmatrix} I & A^T \\ A & 0 \end{bmatrix} \begin{bmatrix} v \\ w \end{bmatrix} = \begin{bmatrix} -\nabla f(x) \\ 0 \end{bmatrix}$$關於矩陣譜性質的註記： KKT 矩陣雖為對稱矩陣，但 不定。若該矩陣非奇異，則恰好擁有 $n$ 個正特徵值與 $p$ 個負特徵值。這表示最優點 $(x^*, \nu^*)$ 是拉格朗日函數 $L(x, \nu) = f(x) + \nu^T(Ax-b)$ 的 鞍點 ，而非在合併的原對偶空間中的簡單局部最小值。
🎯 核心原理
等式約束問題的最優性，要求梯度與約束的零空間正交。這使我們能將牛頓步長解釋為 KKT 條件的線性化近似之解。